An Khê so với toàn bộ tỉnh Gia Lai và vùng Tây Nguyên thuộc lãnh thổ Đại Việt sớm nhất, dưới triều đại nhà Tây Sơn năm 1771. Vùng cao nguyên An Khê chính là vùng đất Tây Sơn thượng đạo, được Nguyễn Nhạc dùng làm căn cứ khởi nghĩa đầu tiên của phong trào Tây Sơn[1].

An Khê vốn là thị trấn huyện lỵ huyện Tân An, tỉnh Kon Tum thời Pháp thuộc.

Thời Việt Nam Cộng hòa, ban đầu là quận lỵ quận Tân An, tỉnh Pleiku.

Ngày 13 tháng 3 năm 1959, An Khê trở thành quận lỵ quận An Túc (là quận Tân An cũ) và được nhập vào tỉnh Bình Định.

Từ 1976 đến nay

Thời kỳ 1976 - 1991, An Khê là huyện lỵ huyện An Khê, thuộc tỉnh Gia Lai - Kon Tum, sau đó thuộc tỉnh Gia Lai.

Huyện An Khê ban đầu gồm có 22 xã: Chơ Long, Cư An, Cửu An, Đắk Song, Đông, Hà Tam, K’rong, Lơ Ku, Nam, Nghĩa An, Phú An Cư, Sơ Pai, Sơn Lang, Song An, Sró, Tân An, Tú An, Ya Hội, Ya Ma, Yang Bắc, Yang Nam, Yang Trung.

Ngày 2 tháng 3 năm 1979, chia xã Phú An Cư thành thị trấn An Khê và xã Phú An, chia xã Yang Trung thành xã Yang Trung và xã An Trung.[2]

Ngày 17 tháng 8 năm 1981, chia xã An Trung thành 2 xã lấy tên là xã An Trung và xã Chư Krey.[3]

Ngày 29 tháng 10 năm 1983, chia xã Nam thành 3 xã lấy tên là xã Kông Pla, xã Kông Lơng Khơng và xã Tơ Tung.[4]

Ngày 28 tháng 12 năm 1984, tách 9 xã: Sơn Lang, Sơ Pai, K'rong, Tơ Tung, Kông Lơng Khơng, Kong Pla, Đông, Nghĩa An, Lơ Ku để thành lập huyện K'Bang.[5]

Huyện An Khê còn lại thị trấn An Khê và 17 xã: Cư An, Cửu An, Song An, Tân An, Hà Tam, Tú An, Phú An, Ya Hội, Yang Bắc, Yang Nam, Yang Trung, An Trung, Chư Krey, Chơ Long, Sró, Đắk Song, Ya Ma.

Ngày 30 tháng 5 năm 1988, tách 8 xã: An Trung, Chư Long, Chư Krey, Đắk Song, Sró, Ya Ma, Yang Nam, Yang Trung để thành lập huyện Kông Chro.[6]

Huyện An Khê còn lại thị trấn An Khê và 9 xã: Cửu An, Hà Tam, Phú An, Song An, Tân An, Tú An, Ya Hội, Yang Bắc, An Cư.

Ngày 29 tháng 8 năm 1994, chia xã Cư An thành xã Cư An và xã Thành An, chia xã Hà Tam thành xã Hà Tam và xã An Thành.

Cuối năm 2002, huyện An Khê có 12 đơn vị hành chính trực thuộc, gồm thị trấn An Khê và 11 xã: Tú An, Cửu An, Song An, Thành An, Phú An, Tân An, Cư An, Ya Hội, Yang Bắc, An Thành, Hà Tam.

Ngày 9 tháng 12 năm 2003, Chính phủ ban hành Nghị định số 155/2003/NĐ-CP[7]. Theo đó:

• Thành lập thị xã An Khê trên cơ sở tách thị trấn An Khê và 4 xã: Cửu An, Song An, Thành An, Tú An thuộc huyện An Khê
• Thành lập 4 phường: An Bình, Tây Sơn, An Phú, An Tân trên cơ sở giải thể thị trấn An Khê
• Đổi tên phần còn lại của huyện An Khê thành huyện Đak Pơ.

Sau khi thành lập, thị xã An Khê có 19.912,10 ha diện tích tự nhiên và 62.600 người với 8 đơn vị hành chính trực thuộc, 4 phường và 4 xã.

Ngày 19 tháng 1 năm 2009, Chính phủ ban hành Nghị định số 02/NĐ-CP[8]. Theo đó:

• Thành lập xã Xuân An trên cơ sở điều chỉnh 2.793,00 ha diện tích tự nhiên và 3.504 nhân khẩu của xã Tú An
• Thành lập phường An Phước trên cơ sở điều chỉnh 1.879,22 ha diện tích tự nhiên và 2.970 nhân khẩu của xã Cửu An
• Thành lập phường Ngô Mây trên cơ sở điều chỉnh 1.004,10 ha diện tích tự nhiên và 4.750 nhân khẩu của xã Song An.

Thị xã An Khê có 6 phường và 5 xã như hiện nay.